Theo Đại Việt sử lược, năm 1028 (tức năm Thuận Thiên thứ 19), sức khỏe Lý Thái Tổ đã không được tốt, thường xuyên đau yếu. Ngày 31 tháng 3 năm ấy, Thái Tổ qua đời ở điện Long An, ở ngôi 19 năm, hưởng thọ 54 tuổi.

Khi Lý Thái Tổ vừa qua đời, việc tế táng lại chưa hoàn tất, thì ba vương gia Vũ Đức vương, Đông Chinh vương và Dực Thánh vương cùng quân sĩ vây hãm thành, nhằm mục đích cướp ngôi Thái tử Lý Phật Mã[28]. Thái tử đem quân vào thành, quyết một trận với 3 vương.

Khi quân của Thái tử và quân các vương đối trận, thì Võ vệ tướng quân Lê Phụng Hiểu rút gươm ra chỉ vào Vũ Đức vương mà bảo rằng: "Các người dòm ngó ngôi cao, khi dễ tự quân, trên quên ơn tiên đế, dưới trái nghĩa tôi con, vậy Phụng Hiểu xin dâng nhát gươm này!". Nói xong chạy xông vào chém Vũ Đức vương ở trận tiền. Quân các vương trông thấy sợ hãi bỏ chạy cả. Dực Thánh vương và Đông Chinh vương cũng phải chạy trốn, về sau xin ra hàng, được tha cả. Thái tử Lý Phật Mã lên nối ngôi, tức là Lý Thái Tông.

Lý Thái Tông kế vị, táng Lý Công Uẩn ở Thọ Lăng, phủ Thiên Đức, truy tôn miếu hiệu là Thái Tổ, thụy hiệu là Thần Vũ Hoàng đế.